Louis Armstrong sinh ra và sống thời thơ ấu trong khu nghèo nhất của New Orleans, Louisiana, ông nội là nô lệ gốc Phi. Cha mẹ ông không cưới mà có con. Khi ông cò nhỏ, cha ông William Armstrong (1881–1922) bỏ nhà đi theo người đàn bà khác. Mẹ ông Mayann Armstrong (1886–1942) sau đó bỏ ông cho bà nội nuôi. Khi Armstrong lên 5 thì mẹ ông về sống với gia đình, ông chỉ gặp cha mình những lần lễ lạc. Ông theo học trường Fisk School và bắt đầu thích nghe nhạc Creole. Louis Armstrong cố gắng kiếm tiền bằng cách bán báo, lượm thức ăn bán lại cho nhà hàng nhưng gia đình ông quá túng thiếu mẹ ông phải làm nghề mại dâm. Armstrong làm nghề kéo xe chở than đến Storyville và lai vãng các sàn nhảy, nhà chứa, để hóng nghe các ban nhạc trình tấu.

Armstrong lớn lên từ giai cấp xã hội hèn mạt nhất, trong một thị trấn bị kỳ thị, nhưng lại có nền âm nhạc sâu đậm, nóng bỏng - lúc bấy giờ gọi là nhạc "ragtime" (thời đói rách) chứ chưa gọi là nhạc jazz. Tuy thời thơ ấu ông sống trong cảnh đói nghèo, Louis Armstrong không cho rằng đó là điều đáng buồn mà là nguồn cảm hứng vô biên, ông từng nói: "Mỗi khi tôi nhắm mắt thổi cái kèn của tôi - tôi nhìn thẳng vào trái tim của thành phố New Orleans xa xưa... Nó đem lại cho tôi một cái gì đó để tôi bám vào mà sống."[6]